home *** CD-ROM | disk | FTP | other *** search
/ SGI Freeware 1998 June / SGI Freeware 1998 June.iso / dist / fw_UMINNgopher.idb / usr / freeware / src / gopher_1.12 / gopherd / Waisindex.c.z / Waisindex.c
C/C++ Source or Header  |  1997-09-09  |  11KB  |  425 lines
  1. /********************************************************************
  2.  * $Author: drich $
  3.  * $Revision: 1.1 $
  4.  * $Date: 1995/10/03 04:08:22 $
  5.  * $Source: /proj/freeware1.0/gopher1.12/src/gopherd/RCS/Waisindex.c,v $
  6.  * $State: Exp $
  7.  *
  8.  * Paul Lindner, University of Minnesota CIS.
  9.  *
  10.  * Copyright 1991, 1992 by the Regents of the University of Minnesota
  11.  * see the file "Copyright" in the distribution for conditions of use.
  12.  *********************************************************************
  13.  * MODULE: Waisindex.c
  14.  * Routines to translate wais indexes on disk to gopher
  15.  *********************************************************************
  16.  * Revision History:
  17.  * $Log: Waisindex.c,v $
  18.  * Revision 1.1  1995/10/03  04:08:22  drich
  19.  * gopher 1.2 check-in
  20.  *
  21.  * Revision 1.4  1993/01/05  02:41:28  lindner
  22.  * .cap files are now ignored by the indexer
  23.  *
  24.  * Revision 1.3  1993/01/01  00:12:41  lindner
  25.  * Fixed parameters to GDnew()
  26.  *
  27.  * Revision 1.2  1992/12/21  20:36:44  lindner
  28.  * Added #include for cutil.h (from dgg)
  29.  *
  30.  * Revision 1.1  1992/12/10  23:13:27  lindner
  31.  * gopher 1.1 release
  32.  *
  33.  *
  34.  *********************************************************************/
  35.  
  36. #if defined(WAISSEARCH)
  37.  
  38. /* WIDE AREA INFORMATION SERVER SOFTWARE
  39.    No guarantees or restrictions.  See the readme file for the full standard
  40.    disclaimer.    
  41.    Brewster@think.com
  42.  
  43.    Heavily hacked by Paul Lindner (lindner@boombox.micro.umn.edu)
  44.    Do you even recognize this Brewster? :-)
  45.  
  46. */
  47.  
  48. int ShowDate = 0;
  49.  
  50. #define _search_c
  51.  
  52. #include "gopherd.h"
  53.  
  54.  
  55. #if defined(_AIX)
  56. #define ANSI_LIKE
  57. #endif
  58.  
  59. #include "../ir/irext.h"
  60. #include "../ir/irsearch.h"
  61. #include "../ir/docid.h"
  62. #include "../ir/irtfiles.h"
  63. #include "../ir/cutil.h"    /** fix for -DBIO wais needs.. **/
  64. #include <math.h>
  65.  
  66.  
  67. FILE *logfile = NULL; /* the logfile */
  68. char *log_file_name = NULL;
  69.  
  70. static char *DefaultDB = "index";
  71. static char *MonthStr[] = {
  72.      "Jan", "Feb", "Mar", "Apr", "May", "June", "July", "Sept", "Oct",
  73.       "Nov", "Dec"
  74. };
  75.  
  76. #if defined(void)
  77. #undef void
  78. #endif
  79.  
  80.  
  81.  
  82. int
  83. Process_Veronica(besthit, gs)
  84.   hit *besthit;
  85.   GopherObj *gs;
  86. {
  87.      FILE *ZeFile;
  88.      char veronicabuf[1024];
  89.      char *data, *cp;
  90.  
  91.      /*** Open up the file and seek to the right position ***/
  92.  
  93.      ZeFile = ufopen(besthit->filename, "r");
  94.  
  95.      if (ZeFile == NULL)
  96.       return(-1);
  97.  
  98.      fseek(ZeFile, besthit->start_character, 0);
  99.  
  100.      bzero(veronicabuf, sizeof(veronicabuf));
  101.      fread(veronicabuf, 1, besthit->end_character - besthit->start_character,
  102.        ZeFile);
  103.      veronicabuf[besthit->end_character - besthit->start_character+1] = '\0';
  104.      
  105.      
  106.      data = veronicabuf;
  107.      GSsetType(gs, *data);
  108.      
  109.      ZapCRLF(data);
  110.      
  111.      cp = strchr(data, '\t');
  112.      *cp = '\0';
  113.      GSsetTitle(gs, data+1);
  114.      
  115.      data = cp+1;
  116.      cp = strchr(data, '\t');
  117.      *cp = '\0';
  118.      GSsetPath(gs, data);
  119.      
  120.      data = cp + 1;
  121.      cp = strchr(data, '\t');
  122.      *cp = '\0';
  123.      GSsetHost(gs, data);
  124.      
  125.      GSsetPort(gs, atoi(cp+1));
  126.  
  127.      fclose(ZeFile);
  128.      return(0);
  129. }
  130.  
  131. void
  132. WaisIndexQuery(sockfd, index_directory, SearchWords, new_db_name, INDEXHost, INDEXPort, INDEXPath)
  133.   int sockfd;
  134.   char *index_directory;
  135.   char *SearchWords;
  136.   char *new_db_name;
  137.   char *INDEXHost;
  138.   int  INDEXPort;
  139.   char *INDEXPath;
  140. { 
  141.      database* db;
  142.      long maxRawScore;
  143.      long normalScore;
  144.      char *cp;
  145.      char *Selstrout;
  146.      char dateline[10];
  147.      long i;
  148.      query_parameter_type parameters;
  149.      boolean search_result;
  150.      char score[6];
  151.      static char ReturnLine[512];
  152.                                         
  153.      char * sidename;                    /* mtm 11-23-92 */
  154.      FILE * SideFile = NULL;             /* mtm 11-23-92 */
  155.  
  156.      GopherDirObj *gd;
  157.      GopherObj    *gs;
  158.      
  159.  
  160.      gs = GSnew();
  161.      gd = GDnew(32);
  162.  
  163.      if (DEBUG)  {
  164.       fprintf(stderr, "IndexPath: %s\n", INDEXPath);
  165.       logfile = stderr;   /** Log wais error messages to console **/
  166.      }     else {
  167.       logfile = ufopen("/dev/null", "w+");
  168.      }
  169.  
  170.      if (new_db_name == NULL) {
  171.       new_db_name = DefaultDB;
  172.      }
  173.  
  174.      if (uchdir(index_directory)) {
  175.       Abortoutput(sockfd, "Couldn't change to index directory...");
  176.       return;
  177.      }
  178.  
  179.      if (SearchWords != NULL && strlen(SearchWords) == 0) {
  180.       EveryWAISdocument(new_db_name);
  181.       return;
  182.      }
  183.  
  184.      db = openDatabase(new_db_name, false, true);
  185.      
  186.      if (db == NULL) {
  187.       sprintf(ReturnLine, "Failed to open database %s in index dir %s", new_db_name, index_directory);
  188.       Abortoutput(sockfd, ReturnLine);
  189.       writestring(sockfd, ".\r\n"); /** be polite **/
  190.       return;
  191.      }
  192.      
  193. #ifdef BIO            /* dgg */
  194. {
  195.      char *cp= read_delimiters( db);  /* use data-specific delim, available */
  196.  
  197.      if (cp != NULL) {
  198.       strcpy( gDelimiters, cp);
  199.       wordDelimiter= wordbreak_user;
  200.      }
  201.      else
  202.       wordDelimiter= wordbreak_notalnum;
  203. }
  204. #endif
  205.  
  206.      parameters.max_hit_retrieved = 256;
  207.  
  208.      set_query_parameter(SET_MAX_RETRIEVED_MASK, ¶meters);
  209.      
  210.      search_result = false;
  211.      search_result |= search_for_words(SearchWords, db, 0);
  212.      
  213.      if (search_result == true) {
  214.       /* the search went ok */
  215.       hit best_hit;
  216.       
  217.       finished_search_word(db);
  218.       if (DEBUG)
  219.            printf("After finished_search\n");
  220.  
  221.       uchdir(Data_Dir); /* necessary to find side files */
  222.  
  223.       for (i = 0; i < parameters.max_hit_retrieved; i++){ 
  224.            if (0 != next_best_hit(&best_hit, db))
  225.             break;        /* out of hits */
  226.            if (i == 0)
  227.             maxRawScore = best_hit.weight;
  228.            if (best_hit.weight > 0 && 
  229.            strstr(best_hit.filename, ".cache")==NULL &&
  230.            strstr(best_hit.filename, ".cap/")==NULL){
  231.             long lines,length;
  232.  
  233.             char** type = NULL;
  234.             
  235.             normalScore = (long)floor((((double)best_hit.weight) /
  236.                            ((double)maxRawScore)) *    
  237.                           (MAX_NORMAL_SCORE + 1));
  238.  
  239.             if (normalScore > MAX_NORMAL_SCORE)
  240.              normalScore = MAX_NORMAL_SCORE;
  241.             
  242.  
  243.             /*** Strip off the first part of the path in the filename*/
  244.             /*** Plus it gets rid of weird automount things... ***/
  245.             Selstrout =strstr(best_hit.filename, INDEXPath);
  246.             if (Selstrout == NULL)
  247.              Selstrout = "Error in Hostdata!";
  248.             else
  249.              Selstrout += strlen(INDEXPath);
  250.             
  251.  
  252.                     sprintf(score,"%3d ",best_hit.weight);
  253.  
  254.                     waislog(0,99,"%s: Score %3d:%s",SearchWords,best_hit.weight,Selstrout);
  255.             
  256.             /** Make the outgoing string **/
  257.  
  258.             ZapCRLF(best_hit.headline);
  259.             
  260.             /*** Remove the gopher data directory pathname if
  261.                  it's there from the headline
  262.             ***/
  263.  
  264.             if ((cp = strstr(best_hit.headline, INDEXPath)) != NULL) {
  265.              /*** Dangerous.... ***/
  266.              strcpy(cp, cp+strlen(INDEXPath));
  267.             } 
  268.              
  269.             GSsetType(gs, '0');
  270.             GSsetTitle(gs, best_hit.headline);
  271.             GSsetHost(gs, INDEXHost);
  272.             GSsetPort(gs, INDEXPort);
  273.  
  274.                  /* removed "/" from following line (before %s) . 
  275.                 Was getting double slash at least with w8b5bio; 
  276.                 mtm 11-23-92 */
  277.  
  278.             sprintf(ReturnLine, "R%d-%d-%s",
  279.                 best_hit.start_character, best_hit.end_character,
  280.                 Selstrout);
  281.             
  282.             if (!MacIndex)
  283.             GSsetPath(gs, ReturnLine);
  284.             else
  285.             GSsetPath(gs, Selstrout);
  286.             GSsetWeight(gs, best_hit.weight);
  287.             
  288.                     /* 
  289.              * Find and process sidefile. 
  290.              * Allow worst case name length. 
  291.              */
  292.  
  293.             if((sidename = (char *) malloc((unsigned) 
  294.                 strlen(Selstrout) + 
  295.                     strlen("/.cap/") + 1)) != NULL) {
  296.               if((cp = mtm_basename(Selstrout)) != Selstrout) {
  297.             /*  turn "/foo/bar/baz" into "/foo/bar/.cap/baz" */
  298.             strncpy(sidename,Selstrout,(cp - Selstrout));
  299.             *(sidename + (cp - Selstrout)) = '\0';
  300.             strcat(sidename,".cap/");
  301.             strcat(sidename,cp);
  302.               }
  303.               else {
  304.               /* root of the gopher tree, this is easier... */
  305.             strcpy(sidename,"/.cap/");
  306.             strcat(sidename,Selstrout);
  307.               }
  308.               if ((SideFile = rfopen(sidename, "r")) != NULL) {
  309.             if (DEBUG == TRUE)
  310.               printf("Side file name: %s\n", sidename);
  311.             Process_Side(SideFile, gs);
  312.               }
  313.               free(sidename);
  314.             }
  315.             
  316.             if (DEBUG) printf("Doc type is %s\n", best_hit.type);
  317.             if (strcmp(best_hit.type, "GOPHER")==0) {
  318.             if (DEBUG) printf("Got a veronica style thing %s\n",best_hit.headline);
  319.             Process_Veronica(&best_hit, gs);
  320.            }            
  321.             
  322.             GStoNet(gs,sockfd);
  323.  
  324.            }
  325.            
  326.            
  327.            if (DEBUG) {
  328.             printf("%s\n", ReturnLine);
  329.             printf("End Byte   = %d\n", best_hit.end_character);
  330.             printf("Doc length = %d\n", best_hit.document_length);
  331.             printf("#lines     = %d\n", best_hit.number_of_lines);
  332.            }
  333.       }
  334.      }
  335.      else {
  336.       /* something went awry in the search */
  337.       LOGGopher(sockfd, "Something went wrong in the search!\r\n");
  338.       writestring(sockfd, ".\r\n"); /*** be polite, don't screw up the client**/
  339.       return;
  340.      }
  341.      finished_best_hit(db);
  342.  
  343.      writestring(sockfd, ".\r\n");
  344.  
  345.      /* free everything */
  346.      closeDatabase(db);
  347.      return;
  348. }
  349.  
  350. EveryWAISdocument(sockfd, db, INDEXHost, INDEXPort, INDEXPath)
  351.   int sockfd;
  352.   char *db;
  353.   char *INDEXHost;
  354.   int  INDEXPort;
  355.   char *INDEXPath;
  356. {
  357.      FILE         *dbcatalog;
  358.      char         db_name[MAXPATHLEN];
  359.      char         inputline[512];
  360.      String       *Headline;
  361.      String       *Filename;
  362.      int          StartByte, EndByte;
  363.      GopherObj    *gs;
  364.      GopherDirObj *gd;
  365.      boolean      Headlineset = FALSE;
  366.      boolean      DocIDset    = FALSE;
  367.  
  368.      gs = GSnew();
  369.      gd = GDnew(32);
  370.      Headline = STRnew();
  371.      Filename = STRnew();
  372.  
  373.      strcpy(db_name, db);
  374.      strcat(db_name, ".cat");
  375.  
  376.      dbcatalog = rfopen(db_name, "r");
  377.      
  378.      while (fgets(inputline, sizeof(inputline), dbcatalog) != NULL) {
  379.       if (strncmp(inputline, "Headline: ", 10)==0) {
  380.            STRset(Headline, inputline +10);
  381.            Headlineset = TRUE;
  382.       }
  383.       else if (strncmp(inputline, "DocID: ", 7)==0) {
  384.            char *cp;
  385.  
  386.            StartByte = atoi(inputline);
  387.            cp = strchr(inputline+7, ' ');
  388.            if (cp == NULL) break;
  389.  
  390.            cp++;
  391.            EndByte = atoi(cp);
  392.  
  393.            cp = strchr(inputline+7, ' ');
  394.            cp++;
  395.            if (cp == NULL) break;
  396.  
  397.            cp =strstr(cp, INDEXPath);
  398.            if (cp == NULL) break;
  399.            
  400.            STRset(Filename, cp);
  401.  
  402.            DocIDset = TRUE;
  403.       }
  404.       
  405.       if (DocIDset == TRUE && Headlineset == TRUE) {
  406.            char tmppath[512];
  407.  
  408.            sprintf(tmppath, "R%d-%d-%s", StartByte, EndByte, STRget(Filename));
  409.  
  410.            GSsetType(gs, '0');
  411.            GSsetTitle(gs, STRget(Headline));
  412.            GSsetHost(gs, INDEXHost);
  413.            GSsetPort(gs, INDEXPort);
  414.            GSsetPath(gs, tmppath);
  415.  
  416.            GDaddGS(gd, gs);
  417.  
  418.            DocIDset = FALSE;
  419.            Headlineset = FALSE;
  420.       }
  421.      }      
  422. }
  423.  
  424. #endif /** WAISSEARCH **/
  425.